ก่อนที่จะเกิด ฟิทซ์วิลเลียมบิดาของซาร์เจนต์เป็นศัลยแพทย์ทางตาอยู่ที่โรงพยาบาลวิลล์สอายที่ฟิลาเดลเฟีย หลังจากพี่สาวคนโตเสียชีวิตไปเมื่ออายุได้เพียงสองขวบ มารดาของซาร์เจนต์แมรีได้รับความกระทบกระเทือนทางประสาทอย่างหนัก จนสามีตัดสินใจพาภรรยาเดินทางไปต่างประเทศเพื่อจะไปรักษาตัวรักษาใจให้ดีขึ้น แต่ทั้งสองสามีภรรยาไปดำเนินชีวิตแบบเร่ร่อนอยู่ในประเทศต่างๆ จนตลอดชีวิต[3]

แม้ว่าจะมีฐานอยู่ที่ปารีสและบิดาและมารดาของซาร์เจนต์ก็จะย้ายที่พำนักเป็นประจำตามฤดูกาล ระหว่างเมืองพักผ่อนตากอากาศริมทะเลและภูเขาในฝรั่งเศส, เยอรมนี, อิตาลี และ สวิตเซอร์แลนด์ ขณะที่มีครรภ์บิดาและมารดาของซาร์เจนต์ไปหยุดพักอยู่ที่ฟลอเรนซ์เพราะการระบาดของอหิวาตกโรค ซาร์เจนต์จึงได้ถือกำเนิดในฟลอเรนซ์ในปี ค.ศ. 1856 ปีต่อมาแมรีก็ให้กำเนิดแก่น้องสาวชื่อแมรีเช่นเดียวกับมารดา หลังจากการเกิดของซาร์เจนต์แล้วฟิทซ์วิลเลียมก็จำใจต้องลาออกจากตำแหน่งในฟิลาเดลเฟีย และตกลงตามคำร้องขอของภรรยาในการตั้งรกรากอยู่ในต่างประเทศเป็นการถาวร[4] ฟิทซ์วิลเลียมและแมรีดำรงชีวิตอย่างระมัดระวังจากเงินมรดกจำนวนเล็กน้อยและจากเงินสะสม และใช้ชีวิตอย่างโดดเดี่ยวกับลูกทั้งสองคน และโดยทั่วไปแล้วก็มักจะเลี่ยงสังคมและชาวอเมริกันอื่นๆ นอกจากเพื่อนฝูงในวงการศิลปะเท่านั้น[5]

แม้ว่าบิดาจะเป็นครูสอนวิชาเบื้องต้นผู้มีความอดทน แต่ซาร์เจนต์ก็เป็นเด็กที่ชอบอิสระที่มีความสนใจในสิ่งแวดล้อมภายนอกมากกว่าที่นั่งเรียนหนังสือจับเจ่าอยู่ในห้อง ตามที่บิดาบรรยายในจดหมายถึงบ้านว่า “[จอห์น]เป็นเด็กที่สนใจกับการสังเกตความเป็นไปของสิ่งแวดล้อมอย่างใกล้ชิด”[6] มารดาของซาร์เจนต์ตรงกันข้ามกับสามีและมีความเชื่อว่าการท่องเที่ยวไปทั่วยุโรป ไปเยี่ยมชมพิพิธภัณฑ์และคริสต์ศาสนสถานต่างๆ เป็นการให้การศึกษาอย่างพอเพียงต่อซาร์เจนต์ การพยายามให้ซาร์เจนต์เข้าศึกษาในโรงเรียนอย่างเป็นทางการหลายครั้งต่างก็ประสบความล้มเหลว เพราะการใช้ชีวิตในการเดินทางไปตามที่ต่างๆ ของบิดามารดา แมรีเองเป็นจิตรกรสมัครเล่นผู้มีฝีมือ และฟิทซ์วิลเลียมก็เป็นผู้มีความชำนาญในการเขียนภาพประกอบหนังสือทางแพทย์ศาสตร์[7] ตั้งแต่เริ่มแรกแมรีก็ให้สมุดร่างภาพและสนับสนุนให้ซาร์เจนต์ออกไปวาดรูป ซาร์เจนต์ก็ตั้งอกตั้งใจวาดภาพ และกระตือรือร้นที่จะก็อปปีภาพเรือต่างๆ ที่เห็นใน “อิลลัสเทรดเทดลอนดอนนิวส์” และร่างภาพภูมิทัศน์ [8] ซึ่งทำให้ฟิทซ์วิลเลียมคาดว่าความสนใจเกี่ยวกับเรือของบุตรชายจะนำไปสู่อาชีพที่เกี่ยวกับกองทัพเรือ

เมื่ออายุได้สิบสามปีมารดาก็รายงานว่าซาร์เจนต์ “ร่างภาพได้อย่างงดงาม และมีความรวดเร็วและตาดีอย่างคาดไม่ถึง ถ้าเราสามารถให้บทเรียนที่ดี ไม่นาน[ซาร์เจนต์]ก็คงจะเป็นศิลปินน้อยๆ ได้คนหนึ่ง”[9] ในช่วงเดียวกันซาร์เจนต์ก็ได้รับการศึกษาเกี่ยวกับการเขียนภาพสีน้ำจากคาร์ล เวลช์ผู้เป็นจิตรกรภูมิทัศน์ชาวเยอรมัน[10] แม้ว่าจะได้รับการศึกษาอย่างไม่เต็มที่แต่ซาร์เจนต์ก็เป็นผู้มีความรู้ดี และเป็นผู้มีความสามารถทางศิลปะ, ดนตรี และวรรณกรรม[11] ซาร์เจนต์พูดภาษาฝรั่งเศส, อิตาลี และเยอรมันได้อย่างคล่องแคล่ว เมื่ออายุได้ 17 ปีก็ได้รับคำบรรยายว่าเป็นผู้มีความ “แน่วแน่, ช่างสังเกต, มุ่งมั่น และ แข็ง” (เช่นเดียวกับมารดา) แต่ขี้อาย, ใจกว้าง และถ่อมตน (เช่นเดียวกับบิดา)[12] ซาร์เจนต์คุ้นเคยกับจิตรกรรมของจิตรกรชั้นครูโดยตรงเป็นอย่างดี เช่นที่เขียนในปี ค.ศ. 1874 ว่า “ผมได้เรียนที่เวนิสในคุณค่าของงานของตินโตเรตโตเป็นอย่างมาก และเห็นว่าจะเป็นรองก็แต่จากมีเกลันเจโล และ ทิเชียนเท่านั้น”[13]